iT邦幫忙

2024 iThome 鐵人賽

DAY 24
1
AI/ ML & Data

資料決策時代:從零開始打造公司數據引擎與決策文化系列 第 24

數據設計的陷阱:『看著前方的路況,而不是死盯儀表板』

  • 分享至 

  • xImage
  •  

前言


今天想和大家分享在剛開始做資料分析時,曾經遇過的一個問題和經驗,也是蠻多數據分析時常見的盲點,也就是過度追求極致儀表板的設計、數據指標定義的計算。
過度追求完美,容易導致效率不彰、目標錯誤,先跟你分享一個歷史上的故事,再來聊聊我們的故事吧。

歷史上的故事


有一個著名的空難事件,發生於1972年的「東航空難(Eastern Air Lines Flight 401)」

這架東方航空的洛克希德L-1011三角洲飛機,從紐約飛往邁阿密。當飛機進入邁阿密國際機場上空進行降落準備時,機組人員發現降落裝置顯示燈沒有亮起,這可能意味著起落架沒有正常放下。於是,機長和副機長開始集中精力檢查這個顯示燈的問題,並嘗試手動處理起落架。

為了檢查問題,機組人員解除了自動駕駛功能,以便手動處理。他們幾乎所有的注意力都集中在儀表板上,特別是那個故障的指示燈。他們完全忽視了飛行的其他關鍵參數,包括飛機的高度和姿態。實際上,儀表板上的顯示燈故障並不意味著起落架沒有放下,而只是顯示燈本身可能壞了。就在機組人員忙於處理這個小問題時,飛機開始不知不覺地緩慢下降,但沒有人注意到。

最終,飛機以接近時速400公里的速度撞上佛羅里達沼澤地,造成機上176名乘客中101人喪生。調查顯示,事故的主要原因是機組人員過度專注於儀表板的小問題,而忽略了飛機正在逐漸下降,失去高度。


這個故事告訴我們,即使是飛行員這樣受過高強度訓練的專業人士,有時也會陷入「為了儀表板而儀表板」的陷阱。他們過度依賴單一的指標,忽略了更大的環境脈絡(飛行高度和狀態)。這與我們在數據分析中的挑戰非常相似,數據指標和儀表板雖然重要,但不能忽視整體情況或環境變化。

而我們的故事是這樣的


曾經處理過一個案子是想針對訂閱服務做數據的追蹤分析,產品是個每月訂閱付費的服務,每30天會自動扣款一次,除非用戶取消訂閱。

在來回討論怎麼衡量產品的成功後,我們特別在意『月退訂率』。

月退訂率的計算是這樣:

這個月的退訂人數 / 這個月的訂閱總數

問題一: 這個月的訂閱總數怎麼算

  1. 每個月第一天的訂閱中數量: 分母通常較月底小,整體看起來的退訂率高
  2. 每個月最後一天的訂閱中數量: 衍生退訂的認列問題,9/17號訂閱,9/28退訂,要算在9月,還是10月的退訂?

問題二: 退訂數的認列,9/17號訂閱,9/28退訂,要算在9月,還是10月的退訂?

  1. 算在9月:用戶有可能會恢復訂閱,可能會多算
  2. 算在10月:DA不好算,也不符合該月退訂率的定義,經常有人混淆

問題三: 月退訂率的名稱與計算不符合

問題四: 該月月退訂率,只有到下個月初才能知道結果,已經是落後指標

最終解決方案:

  1. 調整名稱:『三十天的月退訂率』
  2. 公式:三十日之內的退訂人數/(前三十一天正在訂閱人數+三十日內新訂閱人數)

結果: 算法不能說不好,但計算變得複雜難以理解。

其實後續仍然爭議不斷,也又調整好幾版,甚至要搬出微積分來算了,幾個版本也重複了前面的缺點,就不贅述。

關鍵可能不在於數據定義


思考:事後回顧,中間過程大家在意的是什麼?

這整個指標定義計算來來回回的過程,最累的其實就是DA了,每天要被業務追殺數據的準確性,要解釋為什麼是這樣,被弄的其實很疲倦,其實當時並沒有找到一個比較好的答案。

  1. 業務單位: KPI 不好看,會被老闆罵
  2. 老闆:希望數據是領先指標,能更早反應出問題
  3. 資料分析師:定義名稱與計算規則本身不相符,計算不要太複雜
  4. 共同期待:
    i. 期望一個大指標反映出所有問題
    ii. 指標的增減,期望能掌握原因
    iii. 計算好複雜,難以馬上知道原因,無法快速回應上層問題

複習一下: 數據分析的重點:『簡單』、『比較』、『拆解』

  1. 『簡單』
    提供的任何數字、圖表都以簡單為最高原則, 『讓人願意理解』 是最重要的前提。
    我知道實務上數據有很多情境和條件,但我能給你最好的建議就是把這些條件都消滅,老闆絕對沒有時間聽你說:『現在每天活躍人數 5萬人,但是要扣掉XXX,再考慮OOO』,請給聽眾一個你最有把握、最簡單的數字。

  2. 『能比較』
    ** 絕對的數字不具備任何意義,好與壞通常是比較而來。 **
    在商業領域看財報的習慣來說,通常會和『YoY(去年同期)』、『MoM(上個月)』去做比較,例如:本月的活躍用戶數是5萬人,沒有任何意義,但如果加上資訊,上個月是3萬人,代表成長了2萬人,就有討論的空間。

  3. 『做拆解』
    ** 大數字沒有辦法產生行動,拆解後才能產生具體的優化行動。 **
    有了可以比較的數字,下一步要找出行動,以剛剛 MAU 5萬人,成長2萬人,只能看不能做,所以必須『拆解』,例如:昨天的 MAU 3萬人,有1萬人購買商品,佔比33%;今天的5萬人,有1.2 萬人購買商品,只佔比24%,我們就可以得出第一個問題:MAU的成長沒有按比例帶來營收,是什麼原因?

『退訂』的原因才是重點

指標只是一個絕對值

其實整個回顧下來,何必要算出『月退訂率』呢?在整個產品服務的初期,大家最在意的問題其實就是『有多少人有興趣』、『現在有多少人訂閱』、『有多少人退訂』,以及和上一期相比的成長。

在意變化而非絕對

月退訂率本身的計算方式,其實不是關鍵,我認為還是值得計算的,只是大家應該在意的是時時刻刻的變化,而非斤斤計較一點些微的差異。

避免過度、過早的設計

深入了解以後發現其實執著於『月退訂率』的原因是想透過月退訂率去推估營收,只是前期的變動實在太大,大家更在意的是這個數字為什麼變來變去?還沒心力去擔心未來12個月的營收預測呢!

小結


今天和大家分享我自己曾經遇過的一個慘痛經驗,一個指標的定義因為各個角色的立場、需求不同,也可能過度、超前規劃,導致大家的焦點被錯誤聚焦在指標的定義,而非產品真正帶給使用者的價值,這是件非常危險的事情,也是很常見的衝突來源,有人倡導不要 KPI ,要OKR,也是這樣的起源。

我想說的是, 重點不在於工具,在於用這個工具的人與思維。


上一篇
資料科學家的工具箱:選擇合適的分析工具
下一篇
資料分析系列的總結
系列文
資料決策時代:從零開始打造公司數據引擎與決策文化30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言